Эксплуатация Arenadata Streaming (NiFi)

24-26 ноября

Курс «Эксплуатация Arenadata Streaming (NiFi)» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет вам получить практические навыки по развертыванию, администрированию и настройке безопасности Apache NiFi в составе кластера Arenadata Streaming

Записаться на курс Программа курса Задать вопрос

Преимущества курса

Трёхдневный практический курс

Курс по администрированию, установке и настройке безопасности кластера Apache NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming

Что представляет собой курс

Курс «Эксплуатация Arenadata Streaming (NiFi)» − трёхдневный практический курс по администрированию, установке и настройке безопасности кластера Apache NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности ETL-конвейеров.

Аудитория курса

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров, системных администраторов, специалистов по информационной безопасности. Он будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных – Apache NiFi в составе Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
сертификат

Программа обучения

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)
  • Arenadata Streaming Control
  • Arenadata Platform Security
Модуль 2

Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
  • Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.
Модуль 3

Архитектура и инструменты Apache NiFi

  • Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение
  • Создание, настройка и управление процессорами, процессорными группами.
  • Flow Files и атрибуты.
  • Подключение источников (File, Apache Kafka, СУБД)
  • FlowFile Repository, Content Repository, Provenance Repository: детальное изучение
Модуль 4

Администрирование и эксплуатация Apache NiFi

  • Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).
  • Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.
  • Управление репликацией и Метадата-driven подход.
  • Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5

Работа с данными и маршрутизация в Apache NiFi

  • Использование процессоров для обработки данных.
  • Шаблоны маршрутизации.
  • Основы Expression Language.
Модуль 6

Управление информационной безопасностью кластера ADS (NiFi)

  • Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
  • Керберизация ADS/ADPS с MS Active Directory.
  • Настройка LDAP sync source для Ranger User synchronizer.
  • Настройка LDAP/AD auth для Ranger Admin.
  • Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
  • Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Парметры безопасности процессоров.

Итоговое тестирование

«Эксплуатация Arenadata Streaming (NiFi)»

Ближайший старт:

24-26 Ноября

Длительность:

3 дня

Записаться на курс

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Должность/Роль в компании *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Как проходит обучение

Обучение проходит дистанционно в формате вебинаров. Теория перемежается с лабораторными работами, стенд разворачивается для каждого участника, с преподавателями можно общаться на протяжении всего обучения как голосом, так и в чате.

Занятия проводятся с отрывом от производства.

Время проведения занятий с 10:00 до 18:00 мск, если курс рассчитан на целый день.

Корпоративное обучение

Если ваша компания планирует внедрять решения Arenadata или уже работает с ними, вы можете воспользоваться возможностями корпоративного обучения и записать на интересующий курс команду от десяти человек.

Открытые группы

Периодически обучение проходит в смешанных открытых группах. Если вы планируете обучить менее 10 сотрудников, то смело записывайтесь в одну из них. Ориентироваться можно на расписание ниже.

Оставьте заявку на обучение и мы расскажем вам подробнее о том, как набирается группа и сколько свободных мест осталось.

Что получает слушатель по окончанию занятий

После успешной сдачи итогового тестирования, участникам выдается именной вендорский сертификат.

Хотите записаться на курс?

Да, хочу!

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.